AVA-Encoder: Towards Agent-Native Video Representation Learning
AVA-Encoder：迈向智能体原生视频表示学习
🧭 Agent 原生视频表示学习
Qwen Business Unit of Alibaba · ShanghaiTech University · The Hong Kong University of Science and Technology · Institute of Computing Technology · Southeast University
提出 AVA-Encoder，将视频编码为知识图谱并用文本梯度优化，提升智能体视频重建与编辑能力，较最强外部基线提高 20.7%
📌 工作参考价值（4 点）
- 知识图谱作为多模态内容统一表示：在电商/推荐场景中，可将商品视频、图片、描述组织为 KG，节点存结构化文本，资产层链接原始媒体，类型化边保留关系，便于 Agent 查询、编辑和生成推荐理由。
- 文本梯度优化可自动化 prompt 策略调优：将评估反馈转化为自然语言更新方向，对推荐/搜索 Agent 的系统提示进行伪训练，减少人工调 prompt 成本，并可在线细化。
- 分层策略优化：外循环数据无关伪训练与测试时数据相关优化分离，轻量级 inner loop 降低 token 消耗；适用于低延迟推荐 Agent 或在线广告文案生成。
- 建立可重建评测基准：强调保真度与可编辑性平衡，电商多模态理解可借鉴其评测方法，避免只优化表面指标。